从 Project Soil 开始，聊聊那些能实现「隔空操控」的黑科技
— shenzhenware —
上周 Google I/O 2016 公布了 Project Soli 的最新进展，可以通过手掌和手指的简单手势来控制智能手表和智能音箱。
Soli 是一块极小的雷达芯片，它可以适配大多数可穿戴设备，实时追踪你的手部动作，检测手指的位置、相对距离和运动，通过动作进行数据和指令的传达，让你摆脱触摸屏。
在本周四晚「深圳湾夜话」活动中，我们邀请了 Maxus Tech 创始人 Mark 与各位科技爱好者聊了聊 Google Project Soil 及其他手势识别技术。
Google Project Soil 发展概述
在 2015 年 5 月的 Google I/O 大会上，Google 第一次向外界公布 Project Soil 这项手势操作感应技术的原型。由 Google ATAP 与 Infineon 合作研发，使用雷达技术来探测细微的动作和手势，并把它们进行转化和信息输入。这项能隔空操控屏幕界面的技术引起了人们极大的兴趣。
· 使用手势操作手表，设备感知手指细微的调频动作
紧接着在 10 月份，Google 将此技术的开发者版本（Project Soil dev kit）开放给了 60 个开发单位和开发者。这些开发者个体或组织利用 Project Soil dev kit 进行二次开发，应用到了不同的领域当中，如物体识别、车载应用、新媒体展示应用等。
· 基于 Project Soil dev kit 开发者套件开发手势识别应用
在今年的 Google I/O 大会上，Google 公布了这项技术的突破性进展：体积缩小至最初模型的 1/3，功耗降低了 22 倍（由 1.2W 降低到了 0.054 W ），性能提高了 256 多倍。
Project Soli 采用 60 GHz，波长 5mm 的极高频毫米波无线电波捕捉动作、距离、速度等信息，感应精确度达到毫米级。据 Infineon 负责人称，其无线电探测器捕捉图像的帧率为每秒 1.8 万帧。
· Project Soil 外观演进图（2014.7~2015.5）
Google 用了 10 个月的时间将 Soli 从 PC 主机大小缩小到了硬币大小。为了提高精度，还使用了 2 个发射器与 4 个接收器。
· 硬币大小的 Soli，包含 2 个发射器与 4 个接收器
另外，Google 将这项技术应用到两件产品之中并进行了现场演示：一个是 LG 智能手表，另一个是 JLB 音箱。
这款 LG 智能手表支持触控和语音输入，但它真正的微妙之处在于，你只要通过手指细微的动作，就能在表盘上实现切换、点击等功能。
Google ATAP 与 Harman 联手打造的 JLB 音箱，箱体无任何按键，通过手势可进行歌曲的播放、暂停、切换等操作，正面的环形光圈具有进度条显示的功能。
Google Project Soli 雷达技术的运作原理
Google Project Soli 主要运用雷达技术，通过持续发射和接受手部反射的电磁信号，测量精细、复杂的动作变化，而后转码分析、识别。
· 手指运动的同时，造成反射波频谱的连续变化。
Google Project Soli 雷达通过 RDM （Range Doppler Map，距离－多普勒映射）, IQ data 以及 Spectrogram（频谱图） 获得手势信息，进一步使用 Machine Learning 估算出手势。
· 频谱图，图片来源于 Google Preject Soli 官网
手势识别技术的主流方案
目前，手势识别技术的主流方案有光学和穿戴，非主流方案包含雷达、磁力、肌肉电、电磁波等。
基于光学的手势识别技术
光学方案包括三种，按简单到复杂的程度进行排序为：二维手型识别、二维手势识别、三维手势识别。
二维手型识别也称为静态二维手型识别，该技术通过获得的二维信息，可识别一指到五指张开或握拳等「静态」手势，但不能识别持续变化、动态的手势。代表公司为一家在 2013 年成立的印度公司 Flutter（已被 Google 收购）。
二维手势识别即为动态手势识别，与二维手型识别相同的是，它们只能实现对二维空间内的感知，同样不具备对深度信息的识别。但比起二维手型识别，该技术增加了对手势「动态」的感知，可追踪手势的简单运动信息，比如通过挥手动作，实现播放、暂停等操作。代表公司为以色列的 PointGrab，EyeSight 等。
· 来自以色列的团队 PointGrab 通过动态手势操控电脑
相比前两种手势识别技术，三维手势识别技术就复杂多了，除了手型和动作信息，它同时还需要获得深度信息，而深度信息的获得主要靠这三种技术：机构光（Structure Light ）、光飞时间（Time of Flight）、多角成像（Multi-camera）。代表性团队将在下文提到。
基于穿戴传感的手势识别技术
穿戴式的手势识别的运作原理为：通过手上佩戴的 IMU 传感器获得手势、指关节等运动信息，在计算机中建模得到相关手势。对运动手势建模的技术相对更复杂，也是目前许多创业者尝试的方向。国内的诺亦腾是使用该项技术的代表公司。（关于这家公司的情况，可阅读相关文章：他们正致力于把人的身体放进虚拟世界；以及：以酷炫动捕技术闻名的诺亦腾，是怎么做「智能硬件」的？）
手势识别技术的非主流方案
Google Project Soli 是雷达技术应用典型代表，其技术原理就不再赘诉。磁力技术的原理与 IMU 传感器的运用原理相类似，通过获取力的大小、方向、距离等信息，计算机对手势进行建模。
这里重点讲述一下比较有意思的肌肉电技术，应用该项技术的典型产品为加拿大创业公司 Thalmic Labs 推出的手势臂环——MYO，通过感知手臂上的肌肉运动可识别出近 20 种手势，例如用户可利用手势进行一系列的触屏操控动作。
· 佩戴上 MYO 手环，通过感知手臂肌肉运动，实现对大屏幕游戏的操控。
但 MYO 臂环的使用上也存在一些弊端：由于在一天当中，人体体征是变化着的，如果你将长期佩戴的臂环拆下再戴上时，则它有可能会停止工作。但总的来说，其应用效果也相当酷炫，不多说，上段视频一睹为快：
https://v.qq.com/txp/iframe/player.html?vid=h0302u1gewm&width=500&height=375&auto=0
电磁波方案，其最具代表性的则是一项由卡耐基梅隆大学（CMU）团队所研发的 SkinTrack 技术，该系统由一个能连续发射高频交流信号的指环，和嵌入智能手表的内置传感器的手环组成。
该设备采用 80MHz 的电信号进行皮肤传播，让你手上的皮肤成为「触摸屏」。手环可以追踪所佩戴指环的运动轨迹，并与皮肤上的拓展触摸屏产生交互感应，通过手指在皮肤上的滑动，提取相位差等建模信息。该团队曾提到，在使用过程中，人体出汗和持续运动都会影响指环的电路和信号的发射，他们接下来也会着重解决这个问题。
国内应用手势识别技术的团队
光学作为手势识别的主流方案之一，以国外的 Leap Motion 为主要典型代表。使用三维手势识别技术也是国内较多团队应用的一个方向，其中有三家具代表性的公司：
uSens 凌感科技
uSens 凌感是一家由硅谷科技人才创立、专注于 VR/AR 研发的创新企业，其核心团队拥有视觉算法、人工智能、机器学习、光学、人机交互、系统软件等方面的先进技术，公司在美国硅谷、杭州、北京、深圳均设有团队。在 2015 GDC 上，uSens 就展示了一款支持三维手势控制的移动 VR+AR 设备 Impression Pi（印象湃）。
值得一提的是，uSens 研发的手势追踪技术，结合机器视觉算法，实现无需佩戴任何手柄等外设进行手势捕捉。另外，uSens 通过计算机视觉技术已经在位移追踪方面取得新的突破，并将其逐步移植到移动端，把那些复杂的电线抛弃掉。
奥比中光
来自深圳的奥比中光是一家专注于三维传感技术的创新性企业，而这家不到 80 人的企业在国内率先自主研发了 3D 计算芯片以及 3D 传感器，主要被运用于安防、智能装备、辅助驾驶等不同领域。
他们研发出了指甲盖大小的（4.5mm*4.5mm*4 mm）的消费级别芯片，是一套可用于手机、平板电脑的嵌入式 3D 模组，目前全球只有 4 家公司能做，奥比中光是其中之一，并且是亚洲唯一一家实现量产的企业。
乐视、创维、海信等知名品牌电视机已应用上了奥比中光 3D 传感器芯片。奥比中光 CEO 黄源浩曾表示：「不出几年，机器人、无人机会逐步搭载 3D 摄像头，3D 传感技术还会被运用于 VR、AR 的领域。」
锋时互动
体感创业公司锋时互动由一个四人组合 Sharpnow Group 创立。
在 2013 年 2 月， Leap Motion 发布了其主要面向 PC、Mac 的体感控制器，而据了解，锋时互动早在 2012 年就提出了近场体感的概念，但碍于投资环境，他们直到 2013 年底才发布原型机。
2014 年 7 月，锋时互动正式发布了用于识别人体手势操作的设备——微动（VID），能精确识别用户的手指及动作，并转化为操作指令，实现双手悬空操作电脑、玩体感游戏等功能。此外，微动产品还增加了独立的预算单元，可完成大量的数据处理工作。
总结
在 Google I/O 大会上，Google ATAP 的负责人 Ivan Poupyrev 给大家展示了雷达技术在手势识别上的应用和实现方式，以及技术的突破性进展，给业界提供了很好的示范。
目前，包括手势识别、语音识别在内的人机交互技术尚未成熟，较高的学习成本以及有待提高的交互体验，都是技术迭代过程中所要攻克的难题。Ivan Poupyrev 曾表示，即使目前他们还不确定能否将技术完整实现，但他们依旧会坚持下去。
本期「深圳湾夜话」嘉宾 Mark 简介：
一位物理、数学、篮球爱好者，Maxus Tech 创始人，超声波手势动作捕捉技术开发者，现研究基于超声波雷达信号的手势动作捕捉技术。感兴趣的朋友可点击「阅读原文」与他进行对话。
对人机交互话题感兴趣？还可以加入我们的微信群夜话。关注「深圳湾」公众号，并在对话框输入你的微信 ID、你的个人简介、以及你希望聊的话题，我们将邀请你一起夜话。
编辑：林亿
插图：来自网络
● ● ●
- 相关阅读 -
— shenzhenware —